Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.
translated by 谷歌翻译
Generative Adversarial Networks (GANs) typically suffer from overfitting when limited training data is available. To facilitate GAN training, current methods propose to use data-specific augmentation techniques. Despite the effectiveness, it is difficult for these methods to scale to practical applications. In this work, we present ScoreMix, a novel and scalable data augmentation approach for various image synthesis tasks. We first produce augmented samples using the convex combinations of the real samples. Then, we optimize the augmented samples by minimizing the norms of the data scores, i.e., the gradients of the log-density functions. This procedure enforces the augmented samples close to the data manifold. To estimate the scores, we train a deep estimation network with multi-scale score matching. For different image synthesis tasks, we train the score estimation network using different data. We do not require the tuning of the hyperparameters or modifications to the network architecture. The ScoreMix method effectively increases the diversity of data and reduces the overfitting problem. Moreover, it can be easily incorporated into existing GAN models with minor modifications. Experimental results on numerous tasks demonstrate that GAN models equipped with the ScoreMix method achieve significant improvements.
translated by 谷歌翻译
隐式神经表示显示了3D场景重建的有希望的潜力。最近的工作将其应用于自主3D重建,通过学习信息获得图路径计划的信息增益。有效,信息增益的计算很昂贵,并且与使用体积表示相比,使用隐式表示为3D点进行碰撞检查要慢得多。在本文中,我们建议1)利用神经网络作为信息增益场的隐式函数近似器,以及2)将隐式细粒表示与粗量表示形式结合起来,以提高效率。随着效率的提高,我们提出了基于基于图的计划者的新型信息路径计划。我们的方法表明,与具有隐性和明确表示的自主重建相比,重建质量和计划效率的显着提高。我们将该方法部署在真正的无人机上,结果表明我们的方法可以计划信息意见并以高质量重建场景。
translated by 谷歌翻译
我们提出DIY-IPS - 自己动手 - 室内定位系统,这是一个开源实时室内定位移动应用程序。DIY-IPS通过使用可用WiFi接入点的双波段RSSI指纹识别来检测用户的室内位置。该应用程序可以无需额外的基础设施费用即可实时检测用户的室内位置。我们发布了我们的应用程序作为开源,以节省其他研究人员的时间来重新创建它。该应用程序使研究人员/用户能够(1)使用地面真相标签收集室内定位数据集,(2)以更高的准确性或其他研究目的自定义应用程序(3)通过用地面真相实时测试测试修改方法的准确性。我们进行了初步实验,以证明应用程序的有效性。
translated by 谷歌翻译
隐式神经表示表现出了令人信服的结果3D重建,并且最近也证明了在线大满贯系统的潜力。但是,将它们应用于自主3D重建,在此尚未研究机器人探索场景并计划重建的视图路径的情况下。在本文中,我们首次通过解决两个关键挑战来首次探索自动3D场景重建的可能性:1)寻求标准以根据新表示形式衡量候选人观点的质量,以及2)从可以推广到不同场景的数据而不是手工制作的数据中学习标准。对于第一个挑战,提出了峰值信噪比(PSNR)的代理来量化观点质量。代理是通过将场景中空间点的颜色视为在高斯分布下而不是确定性分布下的随机变量来获得的;分布的方差量化了重建的不确定性并组成代理。在第二个挑战中,代理与场景隐式神经网络的参数共同优化。通过提出的视图质量标准,我们可以将新表示形式应用于自动3D重建。我们的方法证明了与使用TSDF或重建的变体相比,在没有视图计划的情况下,与使用TSDF或重建的变体相比,对各种指标的各种指标进行了重大改进。
translated by 谷歌翻译
本文着重于由于看不见的分布变化而导致性能下降的图表上的分布概括。以前的图形域概括始终诉诸于不同源域之间的不变预测因子。但是,他们假设在培训期间提供了足够的源域,为现实应用带来了巨大挑战。相比之下,我们通过从源域中构造多个种群来提出一个新的图形域概括框架,称为DPS。具体而言,DPS旨在发现多个\ textbf {d} iverse和\ textbf {p}可redictable \ textbf {s}带有一组发电机的ubgraphs,即,子图是彼此不同的,但它们彼此不同,但所有这些都与相同的语义共享输入图。这些生成的源域被利用以学习跨域的\ textIt {Equi-Prestivical}图神经网络(GNN),这有望很好地概括到看不见的目标域。通常,DPS是模型不合时宜的,可以与各种GNN骨架合并。节点级别和图形基准测试的广泛实验表明,所提出的DPS为各种图形域概括任务实现了令人印象深刻的性能。
translated by 谷歌翻译
在过去十年中,深度神经网络在各种任务中取得了令人印象深刻的性能,例如自主驾驶,人脸识别和医学诊断。然而,事先作证表明,深度神经网络通过后门攻击将恶意小隐藏触发器注入模型培训,提高严重的安全威胁。要确定触发的神经元并防止反卧系攻击,我们利用福利价值并开发一种名为福利修剪(Shappruning)的新方法,该方法成功地从数据不足的情况下从模型中攻击(每级甚至没有数据) 。考虑到神经元之间的相互作用,Shappruning鉴定了少数感染的神经元(在所有神经元的1%以下),并在修剪诸如许多感染神经元后保护模型的结构和准确性。为了加速Shappruning,我们进一步提出了丢弃的阈值和$ \ epsilon $ -greedy策略以加速福利估计,使得只有几分钟的时间就可以修复中毒模型。实验证明了与现有方法相比,我们对各种攻击和任务的方法的有效性和鲁棒性。
translated by 谷歌翻译
子图识别旨在发现对图表属性最具信息的图表的压缩子结构。可以通过使用相互信息估计器优化图形信息瓶颈(GIB)来配制它。然而,由于图数据的相互信息本质上难以估计,GIB遭到培训不稳定。本文介绍了一种噪声注入方法,用于压缩子图中的信息,这导致了一种新颖的变分图信息瓶颈(VGIB)框架。VGIB允许对其在温和假设下的物镜的易变分别近似。因此,VGIB享有更稳定和高效的培训过程 - 我们发现VGIB在练习中提高表演的速度快10倍。广泛的图形解释实验,图形神经网络的解释性,图表分类显示VGIB发现比现有方法更好的子图。
translated by 谷歌翻译
作为图形神经网络(GNNS)在数字病理学中被广泛采用,越来越关注GNN的发出解释模型(解释器),以提高临床决策的透明度。现有的解释者发现与预测相关的解释性子图。然而,这种子图不足以揭示预测的所有关键生物学子结构,因为在去除该子图之后预测将保持不变。因此,解释性子图不仅应该需要预测,而且应该足以揭示用于解释的最具预测区域。这种解释需要测量从不同输入子图传送到预测输出的信息,我们将其定义为信息流。在这项工作中,我们解决了这些关键挑战并提出了IFExplainer,它为GNN产生了必要和充分的解释。为了评估GNN预测中的信息流,我们首先提出了一种新颖的预测性概念,命名为$ F $ -Information,它是定向的,并包含GNN模型的现实容量。基于它,IFExplainer产生具有最大信息流到预测的解释性子图。同时,在去除解释之后,它最小化了从输入到预测结果的信息流。因此,所产生的解释对于预测并且足以揭示最重要的子结构是重要的。我们评估IFExplainer以解释GNN对乳腺癌亚型的预测。 BRACS数据集的实验结果显示了该方法的卓越性能。
translated by 谷歌翻译
学习目标域中的未知样本(不存在于源类中)对于无监督域适应(UDA)相当重要。存在两个典型的UDA方案,即开放式和开放式集合,后者假定目标域中并非所有源类都显示在内。但是,大多数先前的方法都是为一个UDA场景而设计的,并且始终在其他UDA方案上表现差。此外,它们还需要在适应过程中标记的源数据,限制其在数据隐私敏感应用中的可用性。为了解决这些问题,本文提出了一种通用模型适应(UMAD)框架,其处理了UDA方案,而无需访问源数据,也不是关于域之间类别的类别的知识。具体而言,我们的目标是使用优雅设计的双头分类器来学习源模型,并将其提供给目标域。在适应期间,我们开发了一种信息丰富的一致性分数,以帮助区分从已知样品中的未知样本。为了在目标域中实现双边适应,我们进一步最大化了局部化的相互信息,以将已知的样本与源分类器对齐,并采用熵丢失,以便分别推动远离源分类边界的未知样本。开放式和开放式的UDA方案的实验表明,umad作为无需访问源数据的统一方法,展示与最先进的数据相关方法的可比性。
translated by 谷歌翻译